Gia đình ông có khá đông anh em như Lê Thị Bính, Lê Phát Thanh, Lê Phát Vĩnh, Lê Phát Tân... Theo đánh giá của nhiều người thì dù các anh em ông được sống trong điều kiện vật chất đầy đủ từ nhỏ, nhưng do được vợ chồng ông Huyện Sỹ dạy dỗ chu đáo nên hết thảy đều là những người thông minh, hiểu biết và biết phát huy tiềm lực kinh tế của gia đình. Người ta thường so sánh ngược giữa gia đình ông và gia đình Công tử Bạc Liêu, do con ăn chơi đến phải phá sản dù cha là Trần Trinh Trạch, cũng là một đại phú hộ lớn[2].

Ông Lê Phát An cũng là cậu ruột (người miền Nam gọi anh của mẹ là cậu) của Nam Phương hoàng hậu, con của bà Lê Thị Bính. Năm 1934, nhân dịp gả cháu gái ra Huế làm Hoàng hậu, ông Phát An đã tặng cho cô cháu gái Nguyễn Hữu Thị Lan 1 triệu đồng tiền mặt tương đương 20.000 lượng vàng để làm của hồi môn [1][5].